Skip to main content

基于散射点拓扑和双分支卷积神经网络的SAR图像小样本舰船分类

Few-shot Ship Classification of SAR Images via Scattering Point Topology and Dual-branch Convolutional Neural Network

Sun等人提出一种新型网络模型，用于少样本SAR飞机分类，包括分类路径和一个利用散射提取模块引导网络学习每个目标类型的强散射点数量和分布的散射提取分支。散射提取分支采用散射提取模块来改善SAR目标特征表示，并优化主要的分类任务，从而在新颖类别少样本识别任务上表现更好。

总体架构：

overview

具体而言，我们可以为每个散射特征点寻找其k个最近邻的散射特征点，然后通过欧氏距离来定义它们之间的连接权重。这样，我们就能够建立起散射点之间的拓扑结构，形成一个散射点图。在这个图中，每个散射特征点作为一个节点，它们之间的连接关系则构成了图的边。

  1. 散射关键点拓扑结构构建：利用Harris角点检测器提取SAR图像中的散射关键点，并通过寻找每个散射特征点的kk个最近邻点，计算欧氏距离以定义连接权重，构建散射点之间的拓扑结构，形成散射点图。为了确保角点有更均匀的分布，使用了非极大值抑制。另外，引入了结构验证函数，提取位于Harris角点位置附近的局部窗口，计算该窗口内像素的平均强度，如果平均强度超过了预定义的强度阈值，则将角点视为有效。最后，从所有保留的角点中选择响应值最大的mm个点作为散射特征点。
  2. 拉普拉斯矩阵转换：计算拓扑结构的归一化拉普拉斯矩阵LNL_N，将散射点之间的拓扑关系转化为矩阵形式，公式如下： LN=D−12(D−W)D−12L_N = D^{-\frac{1}{2}}(D-W)D^{-\frac{1}{2}} 其中，DD表示度矩阵，WW表示考虑权值的邻接矩阵，权值为两个节点间在拓扑结构上的最短路径距离。为了确保显著特征点在拉普拉斯矩阵中具有更高的重要性，从而有助于CNN捕获图中的关键结构信息，采用了一种排序策略，即按照Harris角点检测器的响应值从大到小的顺序对节点进行排序。
  3. 双分支卷积神经网络(DB-CNN)设计：设计一个由两个独立的卷积分支组成的DB-CNN，每个分支采用ResNet-12作为基础架构。一个分支以原始SAR图像作为输入，提取视觉特征；另一个分支以归一化拉普拉斯矩阵作为输入，提取散射拓扑特征。
  4. 交叉融合注意力机制：在网络的第3阶段和第4阶段结束位置分别添加一个交叉融合注意力模块，用于视觉特征和拓扑特征的交互融合 SPG-DBCNN_CrossAtt